Оптимизация robots.txt для блога на WordPress

{ Дата Jun 21 2012 добавил Mautdib }
Рубрики : SEO

Большинство бывалых блогеров, безусловно, знают, что такое robots.txt и зачем нужен этот файл. Но, насколько мне известно, мало кто из авторов после установки блога на WordPress сразу же бросается создавать файл robots.txt. Поэтому сегодня я решил вкратце рассказать, почему наличие robots.txt все-таки желательно и каким образом с его помощью оптимизировать индексацию вашего контента поисковыми роботами.

Если у вас нету времени для обновления информации на своем сайте к вашим услугам поддержка сайтов делают все качественно и быстро.

Robots.txt – это текстовый файл, который загружается в корневую директорию вашего сайта и содержит инструкции для поисковых роботов. Основная цель его использования – это запрет индексации отдельных страниц и разделов на сайте. Впрочем, с помощью robots.txt можно указывать правильное зеркало домена, прописывать путь к карте сайта (sitemap) и другие.

Большинство современных поисковиков научились неплохо ориентироваться в популярных CMS и обычно не пытаются индексировать контент, который для этого не предназначен. Например, Google не индексировать админку вашего WordPress-блога даже если вы не будете указывать это направления в robots.txt. Впрочем, в некоторых случаях использование прямых запретов все же может оказаться полезным. И речь в первую очередь о запрете дублированного контента.

Некоторые вебмастера доходят до того, запрещающие индексацию страниц категорий и тегов, поскольку их содержание частично дублирует контент главной страницы. Я же ограничился запретом стринок trackback и feed, которые полностью дублируют контент статьи и назначаются вовсе не для поисковиков. Такая предосторожность не только сделает выдачу вашего сайта “чище”, но и убережет от возможных поисковых фильтров, особенно после введения нового алгортиму Google Panda.

Вот какие директивы использую я в файле robots.txt (он подойдет практически для любого WordPress-блога):

User-Agent:
Disallow: / wp-login.php
Disallow: / wp-register.php
Disallow: / xmlrpc.php
Disallow: / wp-admin
Disallow: / wp-includes
Disallow: / wp-content/plugins
Disallow: / wp-content/cache
Disallow: / wp-content/themes
Disallow: / trackback /
Disallow: / feed /
Disallow: / trackback /
Disallow: / feed /
 
Обратите внимание, что в моем robots.txt полностью закрыты для индексации административных папки wp-admin и wp-includes. Папка же wp-content закрыта лишь частично, поскольку в ней находится директория uploads, куда попадают все изображения с вашего блога, которые должны индексироваться.

Все, что нужно сделать – это скопировать директивы из приведенного выше кода (обратите внимание, что каждая директива должна писаться с новой строки), сохранить в текстовый файл с названием robots.txt и загрузить в корневую директорию вашего сайта.

Случайная статья


Комментировать

Случайная статья